Annan kết hôn với Nane Maria Annan, một luật sư và họa sĩ người Thụy Điển, bà là cháu họ của Raoul Wallenberg (nhà ngoại giao thuộc gia tộc Wallenberg danh giá tại Thụy Điển). Hai trong số ba người con của họ, Kojo Annan và Ama Annan, là con của Titi Alakija, người vợ trước của Annan. Annan và Alakija ly hôn vào cuối thập niên 1970. Người con thứ ba, Nina Cronstedt de Groot, là con của người chồng trước của Nane Annan. Kojo Annan là tâm điểm của dư luận vào năm 2005 vì dính líu vào vụ tai tiếng đổi dầu lấy lương thực của Iraq.